A Hierarquia do Prompting: Das Instruções à Lógica
O prompting evoluiu de entradas simples baseadas em comandos paraArquiteturas de Raciocínio que orientam o caminho interno de processamento do modelo.
Conceitos Fundamentais
- Prompting Zero-Shot: Fornecer uma descrição da tarefa sem exemplos (por exemplo, "Traduza isto para o francês").
- Prompting Few-Shot: Usar "Demonstrações" (pares entrada-saída) para definir o espaço de rótulos e o formato desejado.
- Cadeia de Pensamento (CoT): Uma técnica de prompting que incentiva o modelo a produzir etapas intermediárias de raciocínio.
- Propriedades Emergentes: O raciocínio complexo não é programado explicitamente, mas "emerge" em modelos geralmente com mais de 10 bilhões de parâmetros.
A Mudança no Raciocínio
- Seguimento de Instruções: Mapeamento direto da entrada para a saída.
- Aprendizado no Contexto: Aprender padrões a partir de exemplos fornecidos (Few-shot).
- Decomposição Lógica: Dividir problemas em etapas sequenciais (CoT).
- Supervisão de Processo: Priorizar a precisão das etapas de "pensamento" sobre a resposta final (como visto no OpenAI o1).
Insight Fundamental
O desempenho do modelo em cenários few-shot é altamente sensível à distribuição dos rótulos e à relevância das demonstrações, e não apenas à quantidade de exemplos.
TERMINALbash — 80x24
> Ready. Click "Run" to execute.
>
Question 1
Which method relies on providing "demonstrations" to guide the model?
Question 2
True or False: Chain-of-Thought reasoning is a capability found in almost all AI models regardless of size.
Challenge: Optimizing Logic Puzzles
Scenario: Optimize a prompt for a model that is struggling with a logic puzzle.
You are using an LLM to solve the following puzzle: "A bat and a ball cost $1.10 in total. The bat costs $1.00 more than the ball. How much does the ball cost?"
Currently, you are passing the prompt exactly as written above, and the model incorrectly answers "$0.10".
Currently, you are passing the prompt exactly as written above, and the model incorrectly answers "$0.10".
Task 1
Identify if the current prompt is Zero-shot or Few-shot.
Solution:
The current prompt is Zero-shot because it provides the task description without any prior examples or demonstrations of similar solved puzzles.
The current prompt is Zero-shot because it provides the task description without any prior examples or demonstrations of similar solved puzzles.
Task 2
Inject the Zero-shot CoT trigger phrase to improve reasoning accuracy. Rewrite the prompt.
Solution:
"A bat and a ball cost $1.10 in total. The bat costs $1.00 more than the ball. How much does the ball cost? Let's think step by step:"
"A bat and a ball cost $1.10 in total. The bat costs $1.00 more than the ball. How much does the ball cost? Let's think step by step:"